Group Analysis of Self-organizing Maps based on Functional MRI using Restricted Frechet Means

Studies of functional MRI data are increasingly concerned with the estimation of differences in spatio-temporal networks across groups of subjects or experimental conditions. Unsupervised clustering and independent component analysis (ICA) have been used to identify such spatio-temporal networks. While these approaches have been useful for estimating these networks at the subject-level, comparisons over groups or experimental conditions require further methodological development. In this paper, we tackle this problem by showing how self-organizing maps (SOMs) can be compared within a Frechean inferential framework. Here, we summarize the mean SOM in each group as a Frechet mean with respect to a metric on the space of SOMs. We consider the use of different metrics, and introduce two extensions of the classical sum of minimum distance (SMD) between two SOMs, which take into account the spatio-temporal pattern of the fMRI data. The validity of these methods is illustrated on synthetic data. Through these simulations, we show that the three metrics of interest behave as expected, in the sense that the ones capturing temporal, spatial and spatio-temporal aspects of the SOMs are more likely to reach significance under simulated scenarios characterized by temporal, spatial and spatio-temporal differences, respectively. In addition, a re-analysis of a classical experiment on visually-triggered emotions demonstrates the usefulness of this methodology. In this study, the multivariate functional patterns typical of the subjects exposed to pleasant and unpleasant stimuli are found to be more similar than the ones of the subjects exposed to emotionally neutral stimuli. Taken together, these results indicate that our proposed methods can cast new light on existing data by adopting a global analytical perspective on functional MRI paradigms.Comment: 23 pages, 5 figures, 4 tables. Submitted to Neuroimag

Dynamic scan paths investigations under manual and highly automated driving

Active visual scanning of the scene is a key task-element in all forms of human locomotion. In the field of driving, steering (lateral control) and speed adjustments (longitudinal control) models are largely based on drivers’ visual inputs. Despite knowledge gained on gaze behaviour behind the wheel, our understanding of the sequential aspects of the gaze strategies that actively sample that input remains restricted. Here, we apply scan path analysis to investigate sequences of visual scanning in manual and highly automated simulated driving. Five stereotypical visual sequences were identified under manual driving: forward polling (i.e. far road explorations), guidance, backwards polling (i.e. near road explorations), scenery and speed monitoring scan paths. Previously undocumented backwards polling scan paths were the most frequent. Under highly automated driving backwards polling scan paths relative frequency decreased, guidance scan paths relative frequency increased, and automation supervision specific scan paths appeared. The results shed new light on the gaze patterns engaged while driving. Methodological and empirical questions for future studies are discussed.Active visual scanning of the scene is a key task-element in all forms of human locomotion. In the field of driving, steering (lateral control) and speed adjustments (longitudinal control) models are largely based on drivers’ visual inputs. Despite knowledge gained on gaze behaviour behind the wheel, our understanding of the sequential aspects of the gaze strategies that actively sample that input remains restricted. Here, we apply scan path analysis to investigate sequences of visual scanning in manual and highly automated simulated driving. Five stereotypical visual sequences were identified under manual driving: forward polling (i.e. far road explorations), guidance, backwards polling (i.e. near road explorations), scenery and speed monitoring scan paths. Previously undocumented backwards polling scan paths were the most frequent. Under highly automated driving backwards polling scan paths relative frequency decreased, guidance scan paths relative frequency increased, and automation supervision specific scan paths appeared. The results shed new light on the gaze patterns engaged while driving. Methodological and empirical questions for future studies are discussed.Peer reviewe

Unsupervised classification of whole-brain fMRI data with artificial neural networks

In the present study, we apply the Self Organizing Map (SOM) algorithm for classifying cognitive states from fMRI data without prior selection of spatial or temporal features. In addition, we compare our method with two other models. We applied the method to single-subject as well as multi-subject classification. BOLD signals from subjects viewing emotional pictures of positive, neutral and negative valences were acquired during a block design experiment, and classified with an unsupervised non-linear method, the SOM. We demonstrate here that, in terms of classification performance, the SOM algorithm outperforms an SVM algorithm when processing whole brain data, and performs as well as methods (SVM and KCCA) working with temporal compression or spatial feature selection. Our method presents three phases: data dimensionality reduction : where non functional data are deleted, SOM algorithm training : where statistic regularities relevant for classification are extracted, SOM algorithm test : where the subject's brain state is predicted from his brain activity

The Elephant in the China Shop: When Technical Reasoning Meets Cumulative Technological Culture

The commentaries have both revealed the implications of and challenged our approach. In this response, we reply to these concerns, discuss why the technical-reasoning hypothesis does not minimize the role of social-learning mechanisms-nor assume that technical-reasoning skills make individuals omniscient technically-and make suggestions for overcoming the classical opposition between the cultural versus cognitive niche hypothesis of cumulative technological culture

Modélisation connexionniste d'une mémoire associative multimodale

GRENOBLE1-BU Sciences (384212103) / SudocSudocFranceF

Eye-movement analysis in dynamic scenes: presentation and application of different methods in bend taking during car driving

Eye movements analysis offers the possibility to investigate what is behind the eyes: our brain. Among the variety of activities studied by cognitive ergonomics, car driving received particular attention regarding visual exploration. Here, the four main techniques used to analyse eye movement data while driving have been applied to gaze positions analysis while negotiating bends under manual and highly automated driving. Gaze positions of eighteen drivers were recorded on a driving simulator. (1) Gaze plots and (2) areas of interest analysis based on the visual scene (without information on displayed images) did not reveal detailed differences between manual and highly automated driving, whereas (3) dynamic areas of interest and (4) dynamic point based on a dynamic element of the driving scene showed a disengagement from visual information required to steer the vehicle in bends in highly automated driving. These results help researchers to better characterize visual search in bend taking and by consequence to understand the degradations of the driving performance in highly automated driving.L'oculométrie est une technique qui offre l'opportunité d'investiguer, au travers des mouvements des yeux, ce qui se trouve derrière : notre cerveau. L'oculométrie moderne bénéfice, entre autres domaines, à la recherche en psychologie ergonomique. Parmi la variété des situations étudiées en psychologie ergonomique, l'activité de conduite automobile a fait l'objet de nombreuses études dont un bon nombre font appel à l'oculométrie. Les analyses des données oculométriques ont progressé à mesure du développement de cette technique, et sont aujourd'hui nombreuses et abouties en ce qui concerne l'analyse des parcours oculaires sur des images statiques. En revanche, dans le cadre de l'étude de la conduite automobile, comme des activités dynamiques en général, les images présentées au conducteur sont dépendantes à la fois de l'environnement de conduite, mais aussi de ses propres actions sur le véhicule via le volant et les pédales, ce qui rend les techniques d'analyse habituelles des données oculométriques moins pertinentes. Face à cette situation, les chercheurs ayant un intérêt pour l'étude de la conduite automobile ont développé plusieurs techniques d'analyses des mouvements oculaires qui peuvent être regroupées en quatre classes de méthodes. Les quatre méthodes se définissent par rapport à l'analyse des positions du regard (1) dans un référentiel écran en deux dimensions, (2) selon des zones d'intérêts fixes définies dans ce même référentiel écran, (3) selon des zones d'intérêts dynamiques définies dans un référentiel relatif à la tâche de conduite (correspondant à un élément de la scène visuelle qui se déplace dans celle-ci) et (4) dans un référentiel défini sur un point dynamique de la scène visuelle (un point de la scène visuelle qui se déplace dans celle-ci). Afin de caractériser l'influence de la méthode d'analyse sur l'interprétation des résultats, chacune de ces quatre classes de méthode a été présentée et appliquée ici à la prise de virage en conduite automobile simulée en condition de conduite classique et en conduite hautement automatisée. En condition hautement automatisée, l'assistance maintenait le véhicule dans sa voie en agissant directement sur le volant sans aucune intervention de la part du conducteur. Dix-huit conducteurs ont pris part à une étude sur simulateur de conduite où les positions du regard ont été enregistrées. Une variabilité importante dans l'interprétation des données est apparue selon la méthode d'analyse considérée. A l'appui des résultats collectés via les quatre classes de techniques d'analyse et des connaissances relatives à la prise d'informations visuelle en virage, il apparaît qu'un point ou une zone dynamique dans la scène visuelle sont mieux à même de rendre compte des modifications des stratégies de prise d'information visuelles dans le contexte dynamique de la conduite automobile. Ces méthodes ont permis de mettre en avant et de spécifier une différence dans les prises d'informations visuelles en présence de l'assistance et comparativement à la condition non-assistée. La discussion est destinée à éclairer le lecteur au regard du choix de la technique d'analyse des mouvements oculaires en présentant les avantages et les limites de chacune des quatre classes de méthode et l'impact du choix de la méthode d'analyse des données oculaires sur l'analyse ergonomique des situations considérées et les enjeux sécuritaires associés

Memory for a virtual reality experience in children and adults according to image quality, emotion, and sense of presence

International audienc

Eye-movement analysis in dynamic scenes: presentation and application of different methods in bend taking during car driving

Eye movements analysis offers the possibility to investigate what is behind the eyes: our brain. Among the variety of activities studied by cognitive ergonomics, car driving received particular attention regarding visual exploration. Here, the four main techniques used to analyse eye movement data while driving have been applied to gaze positions analysis while negotiating bends under manual and highly automated driving. Gaze positions of eighteen drivers were recorded on a driving simulator. (1) Gaze plots and (2) areas of interest analysis based on the visual scene (without information on displayed images) did not reveal detailed differences between manual and highly automated driving, whereas (3) dynamic areas of interest and (4) dynamic point based on a dynamic element of the driving scene showed a disengagement from visual information required to steer the vehicle in bends in highly automated driving. These results help researchers to better characterize visual search in bend taking and by consequence to understand the degradations of the driving performance in highly automated driving.L'oculométrie est une technique qui offre l'opportunité d'investiguer, au travers des mouvements des yeux, ce qui se trouve derrière : notre cerveau. L'oculométrie moderne bénéfice, entre autres domaines, à la recherche en psychologie ergonomique. Parmi la variété des situations étudiées en psychologie ergonomique, l'activité de conduite automobile a fait l'objet de nombreuses études dont un bon nombre font appel à l'oculométrie. Les analyses des données oculométriques ont progressé à mesure du développement de cette technique, et sont aujourd'hui nombreuses et abouties en ce qui concerne l'analyse des parcours oculaires sur des images statiques. En revanche, dans le cadre de l'étude de la conduite automobile, comme des activités dynamiques en général, les images présentées au conducteur sont dépendantes à la fois de l'environnement de conduite, mais aussi de ses propres actions sur le véhicule via le volant et les pédales, ce qui rend les techniques d'analyse habituelles des données oculométriques moins pertinentes. Face à cette situation, les chercheurs ayant un intérêt pour l'étude de la conduite automobile ont développé plusieurs techniques d'analyses des mouvements oculaires qui peuvent être regroupées en quatre classes de méthodes. Les quatre méthodes se définissent par rapport à l'analyse des positions du regard (1) dans un référentiel écran en deux dimensions, (2) selon des zones d'intérêts fixes définies dans ce même référentiel écran, (3) selon des zones d'intérêts dynamiques définies dans un référentiel relatif à la tâche de conduite (correspondant à un élément de la scène visuelle qui se déplace dans celle-ci) et (4) dans un référentiel défini sur un point dynamique de la scène visuelle (un point de la scène visuelle qui se déplace dans celle-ci). Afin de caractériser l'influence de la méthode d'analyse sur l'interprétation des résultats, chacune de ces quatre classes de méthode a été présentée et appliquée ici à la prise de virage en conduite automobile simulée en condition de conduite classique et en conduite hautement automatisée. En condition hautement automatisée, l'assistance maintenait le véhicule dans sa voie en agissant directement sur le volant sans aucune intervention de la part du conducteur. Dix-huit conducteurs ont pris part à une étude sur simulateur de conduite où les positions du regard ont été enregistrées. Une variabilité importante dans l'interprétation des données est apparue selon la méthode d'analyse considérée. A l'appui des résultats collectés via les quatre classes de techniques d'analyse et des connaissances relatives à la prise d'informations visuelle en virage, il apparaît qu'un point ou une zone dynamique dans la scène visuelle sont mieux à même de rendre compte des modifications des stratégies de prise d'information visuelles dans le contexte dynamique de la conduite automobile. Ces méthodes ont permis de mettre en avant et de spécifier une différence dans les prises d'informations visuelles en présence de l'assistance et comparativement à la condition non-assistée. La discussion est destinée à éclairer le lecteur au regard du choix de la technique d'analyse des mouvements oculaires en présentant les avantages et les limites de chacune des quatre classes de méthode et l'impact du choix de la méthode d'analyse des données oculaires sur l'analyse ergonomique des situations considérées et les enjeux sécuritaires associés

Spontaneous organization in task-switching reflects self-reported polychronicity and media multitasking tendency

International audienceStudies on media multitasking behavior and task-switching performance have yielded mixed results. The present preliminary study (N = 40) focused on task management, and not performance, by allowing participants to choose the switching frequency between tasks all along the experiment. This design revealed two different patterns of organization, with many participants choosing no variation at all and sticking to this organization throughout the entire experiment. We found no impact of organization type on performance. The participants who switched more often scored higher on polychronicity (i.e., preference for multitasking) and media multitasking scales. We did not find any relationship between executive functioning and task organization or media multitasking scores, but this result should be regarded with caution given the limited sample size. In broad terms, individuals tend to declare a media multitasking tendency in line with their spontaneous organization on multiple tasks, with more sequentially organized participants reporting lower media multitasking behavior. These results point to a seemingly global individual strategy to approach multiple tasks